"""
贴吧翻页爬取
流程

翻页  "重点 查看不同页数的参数"
# 自己看到翻页  直接去翻几页查看url
翻页都是url在变化  或者post的 在data参数 里面进行变化
查看参数的变化
然后制定python 业务逻辑 实现参数变化

# 第一页的url
url="https://tieba.baidu.com/f?ie=utf-8&kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&fr=search"
# https://tieba.baidu.com/f?kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&ie=utf-8&pn=0
# 第二页的url
# https://tieba.baidu.com/f?kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&ie=utf-8&pn=50
# 第三页的url
https://tieba.baidu.com/f?kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&ie=utf-8&pn=100
# 第四页的url
https://tieba.baidu.com/f?kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&ie=utf-8&pn=150
观察发现 每一页的数据 随着url的参数的pn字段的变化而变化
pn加50翻一页
得出结论 控制住url的pn字段 的变化 那我就能实现 翻页数据的获取
指制定计划
1确认url 已经完成
    1.1需要对url进行处理  因为要对pn字段进行递增   完成翻页url的拼接
2分别的拼接出来的url发送请求  ，返回响应
3保存数据

"""
import requests
# 1确认url 已经完成
#     1.1需要对url进行处理  因为要对pn字段进行递增   完成翻页url的拼接
# 初始url
# url="https://tieba.baidu.com/f?kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&ie=utf-8"
# 对url进行传参
for i in range(0,3):
    pn=i*50
    url2="https://tieba.baidu.com/f?kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&ie=utf-8"
#     构建params表单
    params={
        "pn":pn
    }
    # 请求头
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"
    }
    # 2分别的拼接出来的url发送请求  ，返回响应
    response=requests.get(url=url2,headers=headers,params=params)
    data=response.content
#     保存为html文件
    with open(f"周董{i+1}.html","wb")as f2:
        f2.write(data)
        print(f"周董{i+1}保存成功")





